Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback
写、执行、精炼：通过执行反馈强化学习训练技能优化器
🧭 Agent 技能优化训练 · 执行反馈强化学习 ★ 深度解读
Harbin Institute of Technology, Shenzhen · The Chinese University of Hong Kong · MoE Key Laboratory of High Confidence Software Technologies · Harbin Institute of Technology, Harbin · Huawei Technologies Co., Ltd.
训练独立 Skill Optimizer，用执行反馈做 phase-wise GRPO，让 4B 模型优化 agent 技能超过通用大模型
📌 工作参考价值（4 点）
- 在电商导购、客服、广告投放等 Agent 系统中，把「策略 prompt / skill」当作可优化参数：冻结执行模型，单独训练一个小模型改写 skill，能获得比直接换更大 LLM 更稳定的收益；执行器冻结可以让优化信号只归因到 skill 本身。
- 如果业务有程序化校验指标（订单完成、API 参数合法、库存/价格约束、终态匹配），优先用 verifier 做 reward，不要用 LLM 打分；配合组内相对优势 GRPO，能避免任务难度差异淹没候选策略差异。
- 构建 replay buffer 时，只保留同一 skill 下「一次成功 + 一次失败」的 paired trajectories 作为下一轮优化样本；这种 mixed-outcome 状态能定位 skill 未约束的分支，比单条失败轨迹更有诊断价值。
- 生产环境建议迭代 1-2 轮即停止：实验显示 2 轮修订后收益饱和，第 3 轮可能倒退；skill 文档用 name/description/workflow/notes 四段式，agent 指令更稳定可维护。